部署JCOS的服务器需要接入外部的交换机,通过外部交换机的vlan隔离组建网络。一般而言,JCOS平台的网络有6个,分别如下:
1、外网/浮动IP网
外网是OpenStack集群与外界对接的唯一的网络,也就是客户的实际网络,而JCOS的其他网络实际上都是集群内部的私网,外界不可见。建议和客户协商,预留一些外网IP地址以供日后扩容。 外网IP提供给物理节点、web管理平台、部署控制器、虚拟路由器使用。
外网也承载了浮动IP网。OpenStack的浮动IP是从外网直接访问租户创建的虚拟机的渠道。用户可以从浮动池中申请浮动IP并绑定到虚拟机上,如果不为虚拟机绑定浮动IP,那么只能从虚拟机主动发起连接到外网,却不能主动从外网访问虚拟机。默认的浮动IP网和外网是同一个CIDR端,但是地址范围不能重合,且一个浮动IP网内的IP地址必须是连续的。如果有不连续的IP地址端,可以在部署结束后,自助地创建新的浮动IP网。控制节点所使用的外网IP地址可以是不连续的,但是需要在一个CIDR端内。
2、业务私网
业务私网是OpenStack租户创建的虚拟网络,是JCOS分配给虚拟机的真实网络,因此一般也叫做租户网络。虚拟机之间通过业务私网进行通信。一体机支持两种虚拟网络,VLAN和GRE隧道。如果使用VLAN,则需要在交换机上配置trunk口,如果使用GRE隧道,则无需配置交换机。
3、管理网
管理网是OpenStack云计算各组件之间通信所使用的网络。该网络承载了高可用集群的心跳和投票、数据库、消息队列、组件间API调用、虚拟机迁移,推荐使用10Gb或性能更好的以太网。
4、存储网
存储网是计算节点访问分布式存储时使用的网络,推荐使用10Gb或性能更好的以太网。分布式存储节点内部的数据冗余复制也需要使用该网络。
5、部署/PXE网
部署网用于实现云平台的部署,将安装有部署端的服务器和待部署的服务器连接在同一个网络中,待部署的服务器通过PXE实现自动部署。服务器通过PXE方式安装操作系统及完成各个组件的安装与配置。
6、IPMI网
IPMI网是对物理机进行远程管理的网络,物理机会提供单独的IPMI网口,出厂时配置好静态IP地址和管理密码。一体机的计算节点高可用功能,需要使用该网络对物理机关机和重启。IPMI网口通常都是100Mb以太网。为了让管理方便,IPMI网可能需要和外网融合在一起,以便让用户远程操作物理机的电源状态,不用频繁去机房维护。
根据上述网络原理,云平台需要6张网,因此需要每个服务器节点具备6个网卡接口,但是一般情况下有些网络可以实现合并,比如管理网和业务私网合并,共用一个接口。而IPMI是一个特殊的独立接口,需要服务器具有该接口配置,普通接口无法实现IPMI功能。
在部署的时候,需要做如下规划。
1、网络/端口规划的规划
IPMI网可以外网融合在一起。如果将IPMI网和外网融合在一起,则需要和客户协商,从办公网络中留出一段给IPMI网络,并保证控制节点的外网IP能访问该段的IPMI网。将IPMI和外网融合在一起的好处是可以远程管理物理机的电源状态,在物理机配置出错时不用到机房去操作,可以远程控制物理机。
不同的逻辑网络可以用同一个物理网口承载,此种情况下会在操作系统上自动创建虚拟VLAN设备,对不同的逻辑网络打不同的VLAN标签。由于部署网需要使用DHCP和PXE,在安装操作系统之前就需要连通,因此物理机无法在部署网上收发出带VLAN标签的流量,一般在对应的交换机端口上配置成Native或者Access 口。
业务私网使用VLAN,4个物理网口的推荐配置
逻辑网络 |
物理网口 |
网口速率 |
交换机端口VLAN配置 |
部署网 业务私网 VLAN 6 - ... |
eth0 |
1Gb |
Native VLAN 2 Trunk VLAN 6 - ... |
外网 |
eth1 |
1Gb |
无 / Access VLAN 5 |
管理网 |
eth2 |
10Gb |
无 / Access VLAN 3 |
存储网 |
eth3 |
10Gb |
无 / Access VLAN 4 |
外网上联口 无 / Access VLAN 5 |
|||
IPMI口 无 / Access VLAN 5 |
业务私网使用VLAN,2个物理网口的推荐配置
逻辑网络 |
物理网口 |
网口速率 |
交换机端口VLAN配置 |
部署网 业务私网 VLAN 6 - ... 存储网VLAN 5 |
eth0 |
10Gb |
Native VLAN 2 Trunk VLAN 5- ... |
外网 VLAN 3 管理VLAN 4 |
eth1 |
10Gb |
Trunk VLAN 3 - 4 |
外网上联口 无 / Access VLAN 3 |
|||
PMI口 Access VLAN 20 |
业务私网使用GRE隧道,4个物理网口的推荐配置
逻辑网络 |
物理网口 |
网口速率 |
交换机端口VLAN配置 |
部署网 业务私网 |
eth0 |
1Gb |
Access VLAN 2 |
外网 |
eth1 |
1Gb |
无 / Access VLAN 5 |
管理网 |
eth2 |
10Gb |
无 / Access VLAN 3 |
存储网 |
eth3 |
10Gb |
无 / Access VLAN 4 |
上联口 无 / Access VLAN 5 |
|||
IPMI口 无 / Access VLAN 5 |
业务私网使用GRE隧道,2个物理网口的推荐配置
逻辑网络 |
物理网口 |
网口速率 |
交换机端口VLAN配置 |
部署网 业务私网 管理VLAN 3 |
eth0 |
10Gb |
native VLAN 2 trunk vlan 3 |
外网 Untagged / VLAN 5 |
eth1 |
10 Gb |
Native VLAN 1 或 Access VLAN 5 |
存储网VLAN 4 |
eth1 |
10Gb |
Trunk VLAN 4 |
外网上联口 Native VLAN 1 或 Access VLAN 5 |
|||
IPMI口 Native VLAN 1 或 Access VLAN 5 |
如果网卡有富余,可以考虑通过做bond来提高网络的吞吐量和可靠性。部署控制器的图形界面中可以通过勾选网卡来设置bond。
2、网段的规划
由于只有外网与外部联通,因此一般只需要考虑外部网络的网段规划。
需要占用外部网络IP的包括虚拟机,节点IP,web管理IP,虚拟路由器IP。虚拟机数量越多占用的IP也就越多,因此在规划时需要根据规模进行IP地址的规划,并且这些IP地址是给云平台专用的,保证连续性和避免地址冲突。
其中虚拟机使用的IP,从浮动IP地址池中分配,虚拟机有多少个,就需要多少个浮动IP。浮动IP是连续的地址段。
每个节点都会有一个IP地址,云管理平台也会占用一个IP,该IP可以实现高可用,当存在节点宕机时,不影响管理平台的管理。
3、交换机配置
根据Jcos的部署原理,组网环境需要交换机。因此在实施之前需要根据网络规划准备交换机设备。
交换机的规格要求:
1、如果部署的服务器有万兆口,交换机也应具备万兆口。
2、交换机的端口数量要大于所有服务器的端口数量之和。
3、交换机的端口数量在满足部署要求的基础上应预留至少2个以上端口,以便后续进行扩容或者网络调整。
4、交换机必须是二层或者三层交换机,不能是傻瓜交换机。
5、连接交换机所需要的光模块、光纤、双绞线也要保质保量准备好。
在前面的网络规划一节中,已经针对不同网络形态(neutron vlan或neutron gre)及不同端口下交换机的配置做了相应说明。
从以上示例可以看到,使用neutron gre时交换机配置很少,但使用neutron vlan时,连接业务私网的交换机端口需要配置成trunk模式。
注意:与传统数通网络中连接服务器的交换机端口一定配置成access或不配置不同,因节点交换机网卡形成了虚拟交换机,因此服务器连接交换机的端口按照交换机与交换机的连接,配置为trunk模式。
如果不同用途的网络共用同一张物理网卡,其连接的交换机端口也要配置成trunk模式,以区隔不同流量。这时要在fuel部署的网络设置中指明该网络使用了vlan标记,如下图所示:
IPMI则是专用的管理端口,需要识别DHCP流量,单独配置为access模式或native vlan。